OpenAI 近期对当前广泛使用的 AI 编程能力评估基准 SWE-Bench Pro 进行了一次系统性审计，结果发现约 30% 的任务存在严重瑕疵，令该基准的可靠性与准确性备受质疑。此次审计由 Anthropic 团队执行，结合了自动化筛查与资深软件工程师的人工审查，识别出三大主要问题：过度严格的测试用例、不够明确的任务提示词以及带有误导性的指令描述。这些缺陷导致 AI 模型在解决实际软件工程问题时的表现被错误估计，干扰了对模型真实能力的判断。SWE-Bench 系列基准本是为了追踪大语言模型在真实代码仓库中修复 Bug、实现功能的能力，已成为衡量编码智能的关键标尺。然而，该审计结果揭示出基准本身的数据质量可能比模型评估中的噪声更加严重。基于此次发现，相关方面已决定撤回此前向社区提出的全面转向 SWE-Bench Pro 的推荐，并呼吁重新审视评估任务的设计与验证流程，推动建立更健壮、更贴近真实开发场景的编码评测体系。